混音是指基于插值的数据增强,最初是作为超越经验风险最小化(ERM)的一种方式。然而,它的扩展侧重于插值的定义及其发生的空间,而增强本身的研究较少:对于$ m $的小批量,大多数方法在$ m $对之间的插值与单个标量插值之间的插值因子$ \ lambda $。在这项工作中,我们通过引入Multimix来朝这个方向取得进展,Multimix插入了任意数字$ n $的元组,每个元组,长度$ m $,一个vector $ \ lambda $每个元组。在序列数据上,我们进一步扩展到所有空间位置上的密集插值和损失计算。总体而言,我们通过数量级以几乎没有成本来增加每个小批量的元素数量。通过在分类器之前的最后一层插值来可以通过插值。最后,为了解决因线性目标插值而引起的不一致之处,我们引入了一种自我鉴定方法来生成和插值合成目标。我们从经验上表明,我们的贡献导致对四个基准测试的最先进混合方法的显着改善。通过分析嵌入空间,我们观察到这些类更紧密地聚集并均匀地分布在嵌入空间上,从而解释了改善的行为。
translated by 谷歌翻译
In a mixed generalized linear model, the objective is to learn multiple signals from unlabeled observations: each sample comes from exactly one signal, but it is not known which one. We consider the prototypical problem of estimating two statistically independent signals in a mixed generalized linear model with Gaussian covariates. Spectral methods are a popular class of estimators which output the top two eigenvectors of a suitable data-dependent matrix. However, despite the wide applicability, their design is still obtained via heuristic considerations, and the number of samples $n$ needed to guarantee recovery is super-linear in the signal dimension $d$. In this paper, we develop exact asymptotics on spectral methods in the challenging proportional regime in which $n, d$ grow large and their ratio converges to a finite constant. By doing so, we are able to optimize the design of the spectral method, and combine it with a simple linear estimator, in order to minimize the estimation error. Our characterization exploits a mix of tools from random matrices, free probability and the theory of approximate message passing algorithms. Numerical simulations for mixed linear regression and phase retrieval display the advantage enabled by our analysis over existing designs of spectral methods.
translated by 谷歌翻译
量子计算为某些问题提供了指数加速的潜力。但是,许多具有可证明加速的现有算法都需要当前不可用的耐故障量子计算机。我们提出了NISQ-TDA,这是第一个完全实现的量子机学习算法,其在任意经典(非手动)数据上具有可证明的指数加速,并且仅需要线性电路深度。我们报告了我们的NISQ-TDA算法的成功执行,该算法应用于在量子计算设备以及嘈杂的量子模拟器上运行的小数据集。我们从经验上证实,该算法对噪声是可靠的,并提供了目标深度和噪声水平,以实现现实世界中问题的近期,无耐受耐受性的量子优势。我们独特的数据加载投影方法是噪声鲁棒性的主要来源,引入了一种新的自我校正数据加载方法。
translated by 谷歌翻译
增量学习是一种范式,可以通过流数据大规模构建模型构建和更新。对于端到端的自动语音识别(ASR)任务,缺乏人类注释的标签,以及需要保留模型建设政策的隐私政策,这使其成为艰巨的挑战。受这些挑战的激励,在本文中,我们使用基于云的框架为生产系统展示了从隐私保存自动语音识别(ILASR)的增量学习中的见解。我们的意思是,通过保留隐私性,对没有人类注释的短暂数据使用。该系统是用于增量/持续学习的生产LevelAsASR模型的一步,该模型提供了接近实时测试床,以在云中进行端到端ASR实验,同时遵守保留隐私的政策。我们表明,即使在没有人类注释的标签的情况下,拟议的系统也可以在六个月的新时间内显着改善生产模型(3%),而在增量学习中,较弱的监督和大批量大小。在新时期,这种改进比测试集的新单词和短语相比为20%。我们在ASR的同时进一步探讨了拥有有效的教师模型和使用大批量大小的实用性的同时,以保护隐私的增量方式展示了模型构建的有效性。
translated by 谷歌翻译
基于融合的质量评估已成为一种有力的方法,可以从单独实现较低性能的质量模型中开发高性能质量模型。这种算法的一个突出的例子是VMAF,该算法已被广泛用作与SSIM一起视频质量预测的行业标准。除了推进最先进的工作外,还必须减轻使用一组异质质量模型所带来的计算负担。在本文中,我们通过在一个公共转换域上计算出人类视觉系统的通用转换域来统一“原子”质量模型,并提出了Funque,这是一种融合统一质量评估者的质量模型。我们证明,与最先进的Funque相比,由于计算共享,Funque在与主观得分和效率的相关性方面都有显着改善。
translated by 谷歌翻译
中风康复旨在通过功能运动的重复实践来增加神经塑性,但由于重复不足,对恢复可能具有最小的影响。最佳培训内容和数量目前未知,因为不存在测量它们的实用工具。在这里,我们呈现Primseq,一个管道来分类和计算在笔划康复中培训的功能动作。我们的方法集成了可穿戴传感器来捕获上体运动,深度学习模型来预测运动序列,以及对Tally Motions的算法。训练有素的模型将康复活动分解成组件功能运动,优于竞争性机器学习方法。 Primseq进一步在人类专家的时间和劳动力成本的一小部分中量化了这些动作。我们展示了以前看不见的中风患者的Primseq的能力,这是一系列上肢电机损伤。我们预计这些进步将支持在中风康复中定量给药试验所需的严格测量。
translated by 谷歌翻译
我们考虑通过旋转不变设计矩阵定义的广义线性模型中信号估计的问题。由于这些矩阵可以具有任意光谱分布,因此该模型非常适合于捕获在应用中经常出现的复杂相关结构。我们提出了一种新颖的近似消息,用于通过(AMP)算法用于信号估计,并且经由状态演进递归严格地表征其在高维极限中的性能。假设设计矩阵频谱的知识,我们的旋转不变放大器具有与高斯矩阵的现有放大器相同的顺序的复杂性;它还恢复现有的放大器作为一个特例。数值结果展示了靠近向量放大器的性能(在某些设置中猜测贝叶斯 - 最佳),但随着所提出的算法不需要计算昂贵的奇异值分解,可以获得更低的复杂性。
translated by 谷歌翻译
从视频和动态数据自动活动识别是一种重要的机器学习问题,其应用范围从机器人到智能健康。大多数现有的作品集中在确定粗动作,如跑步,登山,或切割植物,其具有相对长的持续时间。这对于那些需要细微动作中的高时间分辨率识别应用的一个重要限制。例如,在中风恢复,定量康复剂量需要区分具有亚秒持续时间的运动。我们的目标是弥合这一差距。为此,我们引入了一个大规模,多数据集,StrokeRehab,为包括标记高时间分辨率微妙的短期操作的新动作识别基准。这些短期的行为被称为功能性原语和由河段,运输,重新定位,稳定作用,和空转的。所述数据集由高品质的惯性测量单元的传感器和执行的日常生活像馈送,刷牙等的活动41中风影响的病人的视频数据的,我们表明,基于分割产生嘈杂状态的最先进的现有机型预测时,对这些数据,这往往会导致行动超量。为了解决这个问题,我们提出了高分辨率的活动识别,通过语音识别技术的启发,它是基于一个序列到序列模型,直接预测的动作序列的新方法。这种方法优于国家的最先进的电流在StrokeRehab数据集的方法,以及对标准的基准数据集50Salads,早餐,和拼图。
translated by 谷歌翻译